Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG
评估 RAG 中证据感知检索的下游效用
🧭 RAG 检索评估有效性
Missouri University of Science and Technology · University of Calcutta
证据感知检索信号会改变排序，但不总能改进训练、系统选择或答案质量预测
📌 工作参考价值（3 点）
- 在 RAG / Agent 检索链路中，不要把 evidence-aware retrieval 分数直接当作系统选择或生成质量的金标准；排序变化不等于下游效果提升，需要按具体生成器指令和评估器验证。
- 若用 evidence support 信号做检索器训练或证据过滤，收益高度依赖生成器如何使用证据；建议在业务侧做线上 A/B，并统一答案评估口径，避免单一 LLM judge 结论误导决策。
- 电商 / 导购 Agent 若引入证据感知过滤，应同时监控答案侧业务指标（如转化、满意度、人工审核），不能只看证据保留率或检索分数。